Năm thứ 6 (1433), Lê Thái Tổ gọi người cháu ruột đang trấn thủ Hóa châu là Thiếu uý Lê Khôi vào bàn định việc chọn ai nối ngôi. Lê Khôi bàn nên chọn Nguyên Long, nên Thái Tổ mới quyết định chọn người con thứ[6].

Tháng 8 năm 1433, ông bị giáng xuống làm Quận vương. Cuối tháng đó Thái Tổ Cao Hoàng qua đời, người em Nguyên Long được lập lên ngôi, tức là Lê Thái Tông. Đô đốc Phạm Vấn và Đại tư đồ Lê Sát được chiếu chỉ phò đế, nắm quyền phụ chính[6].

Tháng 1 năm 1434, có 3 thị nữ đến tâu với Thái Tông rằng ông phát ngôn nhiều điều càn bậy quái gở, có ý không thuận. Vì vậy Thái Tông hạ lệnh cấm cố ông, không cho các quan lại gần nơi ở của ông; còn ông, nếu không có lệnh gọi thì không được vào triều. Lại có lệnh: Nếu ai tự ý đến thăm hoặc dẫn ông vào triều sẽ bị tội nặng[6].

Tháng 5 năm 1438, Thái Tông nắm đại quyền sau khi giết Lê Sát và Lê Ngân. Thái Tông ra chỉ phế truất ông làm dân thường. Định cư ở xã Phù Lưu Tế huyện Mỹ Đức thành phố Hà Nội. Đổi tên thành họ Nguyễn Hữu và ở đây vẫn còn ngôi mộ của ông. Sau đó ông qua đời, không rõ thọ bao nhiêu tuổi. Ông được truy phong là Quận Ai vương.[6]

Mộ của ông ngày nay ở Xã Phù Lưu Tế - Huyện Mỹ Đức - Thành phố Hà Nội.